Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions

In the past decade, Convolutional Neural Networks (CNNs) have demonstrated state-of-the-art performance in various Artificial Intelligence tasks. To accelerate the experimentation and development of CNNs, several software frameworks have been released, primarily targeting power-hungry CPUs and GPUs. In this context, reconfigurable hardware in the form of FPGAs constitutes a potential alternative platform that can be integrated in the existing deep learning ecosystem to provide a tunable balance between performance, power consumption and programmability. In this paper, a survey of the existing CNN-to-FPGA toolflows is presented, comprising a comparative study of their key characteristics which include the supported applications, architectural choices, design space exploration methods and achieved performance. Moreover, major challenges and objectives introduced by the latest trends in CNN algorithmic research are identified and presented. Finally, a uniform evaluation methodology is proposed, aiming at the comprehensive, complete and in-depth evaluation of CNN-to-FPGA toolflows.Comment: Accepted for publication at the ACM Computing Surveys (CSUR) journal, 201

Approximate FPGA-based LSTMs under Computation Time Constraints

Recurrent Neural Networks and in particular Long Short-Term Memory (LSTM) networks have demonstrated state-of-the-art accuracy in several emerging Artificial Intelligence tasks. However, the models are becoming increasingly demanding in terms of computational and memory load. Emerging latency-sensitive applications including mobile robots and autonomous vehicles often operate under stringent computation time constraints. In this paper, we address the challenge of deploying computationally demanding LSTMs at a constrained time budget by introducing an approximate computing scheme that combines iterative low-rank compression and pruning, along with a novel FPGA-based LSTM architecture. Combined in an end-to-end framework, the approximation method's parameters are optimised and the architecture is configured to address the problem of high-performance LSTM execution in time-constrained applications. Quantitative evaluation on a real-life image captioning application indicates that the proposed methods required up to 6.5x less time to achieve the same application-level accuracy compared to a baseline method, while achieving an average of 25x higher accuracy under the same computation time constraints.Comment: Accepted at the 14th International Symposium in Applied Reconfigurable Computing (ARC) 201

Dynamic Modification and Damage Propagation of a Two-Storey Full-Scale Masonry Building

The progressive change of modal characteristics due to accumulated damage on an unreinforced masonry (URM) building is investigated. The stone URM building, submitted to five consecutive shakings, has been experimentally studied on the shaking table of EUCENTRE laboratory (Pavia, Italy). The dynamic characteristics of the test specimen are analytically estimated using frequency and state-space modal identification from ambient vibration stationary tests carried out before the strong motion transient tests at various levels of damage. A singular value (SV) decomposition of the cross-correlation matrix of the acceleration response in the frequency domain is applied to determine the modal characteristics. In the time domain, the subspace state-space system identification is performed. Modal characteristics evolve from the initial linear state up to the ultimate collapse state in correlation with accumulated damage. Modal frequencies shorten with increasing intensity, whereas modal damping ratios are enhanced. Modal shapes also change with increasing level of accumulated damage. Comparing the evolution of modal characteristics, it is concluded that modal damping ratio shift can be better correlated with the system's actual performance giving a better representation of damage than that of natural frequency shift ratio or the modes difference

Multi-Exit Semantic Segmentation Networks

Semantic segmentation arises as the backbone of many vision systems, spanning from self-driving cars and robot navigation to augmented reality and teleconferencing. Frequently operating under stringent latency constraints within a limited resource envelope, optimising for efficient execution becomes important. At the same time, the heterogeneous capabilities of the target platforms and the diverse constraints of different applications require the design and training of multiple target-specific segmentation models, leading to excessive maintenance costs. To this end, we propose a framework for converting state-of-the-art segmentation CNNs to Multi-Exit Semantic Segmentation (MESS) networks: specially trained models that employ parametrised early exits along their depth to i) dynamically save computation during inference on easier samples and ii) save training and maintenance cost by offering a post-training customisable speed-accuracy trade-off. Designing and training such networks naively can hurt performance. Thus, we propose a novel two-staged training scheme for multi-exit networks. Furthermore, the parametrisation of MESS enables co-optimising the number, placement and architecture of the attached segmentation heads along with the exit policy, upon deployment via exhaustive search in <1 GPUh. This allows MESS to rapidly adapt to the device capabilities and application requirements for each target use-case, offering a train-once-deploy-everywhere solution. MESS variants achieve latency gains of up to 2.83x with the same accuracy, or 5.33 pp higher accuracy for the same computational budget, compared to the original backbone network. Lastly, MESS delivers orders of magnitude faster architectural customisation, compared to state-of-the-art techniques.Comment: (Extended version) Accepted at ECCV 202

A practice-oriented model for pushover analysis of a class of timber-framed masonry buildings

Timber-Framed (TF) masonry is a structural system characterized by high complexity and diversity. Limited experimental and analytical research has been carried out so far to explore their earthquake response, partly due to the complexity of the problem and partly due to the scarcity of TF buildings across the world. Here, a new practice-oriented non-linear (NL) macro-model is presented for TF masonry structures, based on the familiar diagonal strut approach with NL axial hinges in the struts. The constitutive law for the hinges (axial force vs. axial deformation) is derived on the basis of an extensive parametric analysis of the main factors affecting the response of TF masonry panels subjected to horizontal loading. The parameters studied are related to the geometric features of the panel and the strength of wood as well as the connections of the timber elements. The parametric analysis is performed using a micro-model based on Hill-type plasticity and it is shown that in the studied X-braced walls the masonry infills do not make a significant contribution to the lateral load resistance. Empirical expressions are proposed for the yield and maximum displacement and shear of a horizontally loaded TF panel. The model is verified against available experimental data, and is found to capture well the envelopes of the experimental loops. The model is readily applicable to NL static analysis (pushover) analysis for the assessment of the lateral load capacity of TF masonry buildings, as the number of input parameters for deriving the constitutive law has been limited to only five

Ανάλυση της θνησιμότητας χερσαίων σπονδυλωτών από οχήματα στο οδικό δίκτυο της Λέσβου

Η επίδραση του οδικού δικτύου και οι αρνητικές συνέπειες στην άγρια πανίδα επιδρούν μέσω ενός ευρύ φάσματος μηχανισμών. Στην παρούσα διπλωματική διατριβή, θα διερευνηθεί ένας από τους υψηλότερους κινδύνους για την άγρια ζωή, η επίδραση των οδικών ατυχημάτων στα χερσαία σπονδυλωτά στο οδικό δίκτυο της Λέσβου. Η προσπάθεια απάντησης ερωτημάτων σχετικά με την ένταση, τη χωρική κατανομή και τις εποχιακές διακυμάνσεις του φαινομένου, οδήγησε στη συλλογή πρωτογενών δεδομένων διάρκειας μισού έτους, τα οποία και αναλύθηκαν με χρήση χωρικών στατιστικών μεθόδων. Χρησιμοποιώντας τα Γεωγραφικά Συστήματα Πληροφοριών (GIS), τα δεδομένα αναλύθηκαν με τις μεθόδους της (α) ανάλυσης θερμών σημείων (Hotspot analysis), (β) της Εκτίμησης Πυκνότητας Πυρήνα (KDE) και (γ) του KDE+. Τα αποτελέσματα έδειξαν ότι τόσο ο τουρισμός όσο και η οικολογία των ειδών προκαλεί διακυμάνσεις στην ένταση των οδικών ατυχημάτων, με αυξητικές τάσεις να παρουσιάζονται περίοδο του καλοκαιριού, ενώ οι κύριοι και πιο πολυσύχναστοι άξονες του οδικού δικτύου της Λέσβου φάνηκαν να έχουν τις περισσότερες καταγραφές ατυχημάτων. Η προσπάθεια αυτή αποτελεί την πρώτη συστηματική μελέτη του φαινομένου στο νησί, με σκοπό την κατανόηση του προβλήματος και τη λήψη μελλοντικών αποφάσεων για την χωροθέτηση και δημιουργία δρόμων με ορθά κριτήρια, καθώς και την καθοδήγηση μελλοντικών ερευνών

Assessment of the seismic behaviour of timber-framed masonry buildings

This doctoral dissertation deals with the non-linear behaviour under seismic loading and the seismic vulnerability of structures made of traditional timber-framed masonry (ΤF). Firstly, the development of a non-linear model able to capture the response of TF masonry structures is implemented. Τimber-framed masonry panels with two diagonal braces are investigated. The simulation is based on an elastoplastic finite element model for wood members using the orthotropic Hill's yield criterion and an associative flow rule. The hardening of the material is considered isotropic. Contact elements have been used to simulate the contact between diagonals and the surrounding frame. Contact is modelled using Mohr-Coulomb's law without cohesion as the bond achieved by the iron elements is unreliable. Masonry infills are not directly included in the model but they contribute to the total response with their weight, in the stability and the hysteretic and the viscous -through sliding- damping, but not to strength. This model is validated against two experimental programmes from the literature; the one is carried out with specimens extracted from a real building and the other with specimens constructed in the laboratory. A very good match is noticed of the non-linear pushover curve of the timber framed walls with the skeleton curves of the tests. This model being highly non-linear as it has two sources of non-linearity (material and geometrical non-linearity), is difficult, if at all feasible, to apply to entire buildings and large structures. Consequently, a simplified approach is proposed, meant for a wide range of applications, which is based on an equivalent diagonal strut with a NL (non-linear) axial point hinge, involving solely beam elements. This simplified approach is developed in two alternative forms; in the first version a proposed set of empirical equations determine the NL law of the plastic hinge. These equations have been derived using an extensive parametric analysis of the main parameters affecting the response of the frame. Nevertheless, when the geometry does not meet the limitations of the previous parametric analyses, or when there are other geometry parameters not having been taken into account, the second version of the simplified approach should be applied. Both simplified models have been validated against the experimental results and the almost bilinear pushover curves match reasonably well the key features of the skeleton monotonic curves of the tests. Using the aforementioned simplified models the NL analysis of three typical buildings of Lefkas (Greece) is carried out. The fundamental characteristic of the Lefkas buildings is their dual structural system. The primary system consists of a stone masonry ground storey, while all upper storeys are made of TF masonry walls. Timber posts in the ground floor a few centimetres apart from the stone masonry form the secondary structural system which is connected to the upper floors. From the NL analysis of the buildings pushover curves are derived and are subsequently converted to capacity curves using the characteristics of the fundamental mode. On this curve four damage states are quantified using quantitative criteria of the response of the structures. According to this definition fragility curves in terms of spectral displacement are generated adopting a log-normal statistical distribution. Then, these fragility curves are expressed in terms of peak ground acceleration using the Eurocode-8 spectrum for high seismicity areas. Using the latter, a pilot scenario of seismic risk for the Lefkas city is developed and compared to the available damage statistics from the 2003 earthquake.Η διδακτορική αυτή διατριβή πραγματεύεται την ανελαστική συμπεριφορά υπό σεισμικά φορτία και την σεισμική τρωτότητα των κτιρίων από ξυλόπηκτη φέρουσα τοιχοποιία (ΞΤ). Κατ’ αρχήν γίνεται η ανάπτυξη ενός ανελαστικού μοντέλου για την ΞΤ. Εξετάζεται ΞΤ τα φατνώματα της οποίας έχουν δύο χιαστί διαγώνιες, για την οποία διατίθεται επαρκής πειραματική τεκμηρίωση. Η προσομοίωση που προτείνεται αποτελείται από ένα ελαστοπλαστικό μοντέλο πεπερασμένων στοιχείων για τα ξύλινα μέλη, που βασίζεται στο ορθότροπο κριτήριο Hill και έχει συσχετισμένο νόμο διαρροής. Η κράτυνση του υλικού θεωρείται ισότροπη. Με στοιχεία επαφής έχει προσομοιωθεί η επαφή των διαγωνίων με το περιβάλλον πλαίσιο. Η επαφή υπακούει στον νόμο Mohr-Coulomb αλλά χωρίς αρχική συνοχή διότι είναι σαφές από τη βιβλιογραφία ότι η σύνδεση των διαγωνίων με το περιβάλλον πλαίσιο είναι αναξιόπιστη. Η παρουσία των τοιχοπληρώσεων είναι έμμεση καθώς στο μεγαλύτερο τμήμα της απόκρισης των τοίχων συμβάλλουν στο βάρος, στην ευστάθεια και στην απόσβεση του συστήματος αλλά όχι στην αντοχή. Το μοντέλο αυτό εξετάσθηκε με δύο σειρές πειραματικών δοκιμίων από τη βιβλιογραφία· η μία σειρά αποτελείται από τρία δοκίμια που ελήφθησαν από πραγματικό κτίριο, ενώ η δεύτερη σειρά από δοκίμια που κατασκευάσθηκαν στο εργαστήριο. Διαπιστώθηκε πολύ καλή σύμπτωση των αναλυτικών με τα πειραματικά αποτελέσματα. Το μοντέλο αυτό είναι έντονα μη-γραμμικό (μη-γραμμικότητα υλικού και γεωμετρίας) και έτσι είναι δύσκολο, αν όχι αδύνατο, να ληφθούν αποτελέσματα για εκτεταμένα κτίρια. Συνεπώς, προτείνεται ένα απλοποιημένο μοντέλο ισοδύναμης διαγωνίου με μία αξονική πλαστική άρθρωση που υλοποιείται με δύο διαφορετικούς τρόπους. Με τον πρώτο τρόπο για την αξονική πλαστική άρθρωση προτείνονται σχέσεις που καθορίζουν τον ανελαστικό νόμο της. Οι σχέσεις αυτές έχουν προκύψει από μία εκτεταμένη παραμετρική ανάλυση και λαμβάνουν υπ' όψιν τους τις βασικές παραμέτρους από τις οποίες επηρεάζεται η απόκριση των φατνωμάτων. Ο δεύτερος τρόπος είναι κατάλληλος για περιπτώσεις όπου θα κριθεί ότι τα φατνώματα δεν εμπίπτουν στους περιορισμούς ή ακριβώς στην γεωμετρία των προηγουμένων σχέσεων. Τα απλοποιημένα αυτά μοντέλα συγκρινόμενα με τα πειραματικά αποτελέσματα δίνουν διγραμμικές καμπύλες απόκρισης με ικανοποιητική προσέγγιση των βασικών μεγεθών. Εφαρμόζοντας το παραπάνω απλοποιημένο μοντέλο γίνεται η ανάλυση τριών τυπικών κτιρίων της Λευκάδας υποθέτοντας ότι αυτά αποτελούνται από φατνώματα ξυλόπηκτης τοιχοποιίας με δύο χιαστί διαγώνιες. Επιπλέον, γίνεται μία διερεύνηση όσον αφορά στην θεμελίωσή τους. Το σημαντικό χαρακτηριστικό των κτιρίων της Λευκάδας είναι ότι αποτελούνται από δύο φέροντα συστήματα. Το κύριο σύστημα αποτελείται από λιθοδομή στο ισόγειο και ΞΤ στους ορόφους, ενώ το δευτερεύον σύστημα στο ισόγειο έχει ξύλινα υποστυλώματα και συνδέεται με την ΞΤ των ορόφων. Από την ανάλυση προκύπτουν οι καμπύλες αντιστάσεως των κτιρίων, οι οποίες μετατρέπονται σε καμπύλες αντιστάσεως του ισοδυνάμου μονοβαθμίου ταλαντωτή. Στην συνέχεια γίνεται ορισμός των σταθμών βλάβης, οι οποίες είναι τέσσερις πέραν της στάθμης χωρίς βλάβες, ώστε να συνδεθούν με όσο το δυνατόν αντικειμενικά κριτήρια της απόκρισης των κατασκευών. Βάσει αυτών των ορισμών εξάγονται καμπύλες τρωτότητας ως προς την φασματική μετακίνηση και στην συνέχεια μετατρέπονται βάσει του φάσματος του Ευρωκώδικα σε καμπύλες τρωτότητας βάσει της μέγιστης εδαφικής επιταχύνσεως. Με αυτές τις τελευταίες αναπτύσσεται ένα πιλοτικό σενάριο σεισμικής διακινδυνεύσεως των ξυλοπήκτων κτιρίων της Λευκάδας και συγκρίνεται με τα διαθέσιμα στατιστικά δεδομένα βλαβών του σεισμού του 2003